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(54) Bezeichnung: LOKALAUTOADAPTIVER OPTISCHER SENSOR 
(57) Abstract 



The dynamics of common image 
sensor are not sufficient to process the lu- 
minosity contrasts which occur in many 
situations. The dynamic enhancement 
processes hitherto disclosed have consid- 
erable disadvantages for practical appli- 
cations. Image sensors produced by the 
new process should link enhanced dy- 
namics to ease of use. In order to avoid 
pixel overexposure or underexposure in 
the event of high image contrasts, a lo- 
cal auto-adaptive control is proposed. By 
means of this control, each pixel automat- 
ically ends its integration period as soon 
as it has integrated a sufficient photocur- 
rent. An analogue signal represents the 
length of the integration period selected 
by the pixel. It represents together with 
the integrated pixel signal a highly dynamic 
Owing to their local auto-adaptability, these 
be processed, for example vehicle guidance 
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brightness information with less strict requirements on the dynamics of the individual signals, 
image sensors are suitable for all fields of application in which high luminosity contrasts must 
in road traffic, nature films or astronomy. 



jsnnnin: <wo 9B14002A1 ! > 



r 



(57) Zusammenfassung 



Die Dynamik der Ublichen Bildsensoren rcicht nicht aus, urn die in vielen Situationen auftretenden Helligkeitskontraste zu verarbeiten 
Bisher veraffentlichtc Verfahren zur Erhdhung der Dynamik weiscn erhebliche Nachteile fOr die praktische Anwendung auf. Bildsensoren 
nach dem neuen Verfahren sollen hohc Dynamik mit einfacher Anwendbarkeit verbinden. Urn die bei hohen Bildkontrasten auftretenden 
Uber- bzw. Unterbelichtungen der Pixel zu vermeiden, enthait jedes Pixel eine lokalautoadaptive Steuerung. Mit Hilfe dieser Steuerung 
beendet jedes Pixel automatisch seine Imegrationsperiode, sobald es ausreichend viel Photostrom aufintegriert hat. Ein analoges Signal 
reprasenttert die vom Pixel gewahlte Lange der Integrationsperiode. Es stellt gemeinsam mit dem aufintegrierten Pixelsignal eine 
Helhgkeitsinformation mit hoher Dynamik dar, bei geringen Anforderungen an die Dynamik der Einzelsignale. Die Bildsensoren eignen 
sich aufgrund der Lokalautoadaptivitat fOr alle Anwendungsgebiete, bei denen hohe Helligkeitskontraste verarbeitet werden mussen wie 
bcispielsweise Fahrzeugftlhrung im StraBenverkehr, Naturfilme oder Astronomic 
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Lokalautoadaptiver optischer Sensor 

Die vorliegende Erf indung betrif ft ein' Verfahren fur den 
Betrieb von Bildsensoren nach dem „lokalautoadaptiven 
Verfahren" zur Aufnahme von hochdynamischen Bildszenen. 

Elektronische Bildsensoren sind bekannt und werden in den 
unterschiedlichsten Technologien hergestellt. Solche 
Sensoren sind so aufgebaut, daft erne Anzahl 
Lichtwandelelemente (Pixel) in geeigneter Weise 
angeordnet sind/ meist als eine einzige Zeile oder in 
Spalten und Zeilen als Matrix geordnet . Ein auf den 
Bildsensor projiziertes Bild wird von den Pixeln in ein 
der am Pixelort einfailenden Lichtmenge proport ionales 
elektrisches Signal umgewandel t . Die zugehorige 
Proportionalitatskonstante wird als 

Umwandlungsempf indlichkeit (Empf indlichkeit) des Sensors 
bezeichnet. In einem sehr verbreiteten Typ von 
Bildsensor, dem „ integrierenden Bildsensor", erzeugen die 
Pixel das Ausgangssignal, indem sie photostromgenerierte 
Ladungstrager Uber ein gewisses Zeitintervall 
{ Integrationszeit) auf eine Kapazitat auf integrieren . Das 
elektrische Signal wird mittels geeigneter, am Pixel 
aniiegender Ansteuersignale (Takt- o. Lesesignal) und vom 
Pixel wegflihrender Auslesepfade ausgelesen und mit 
geeigneten Mitteln bildauswertenden oder bildverwertenden 
Einheiten wie zum Beispiel einem Auf zeichnungsgerat 
zugefxihrt . 
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Em wesentliches Merkmal eines Bildsensors ist seine 
Dynamik. Sie ist definiert durch die maximale und die 
minimale Bildhelligkeit am Pixelort, die zu einero 
sinnvoll verwertbaren Signal am Ausgang des Bildsensors 
fuhren. Nach unten ist die Dynamik begrenzt durch das 
elektrische Rauschen des Ausgangssignals : ein 
Pixelsignal, das kleiner ist als das elektrische 
Rauschen, ist nicht verwertbar. Nach oben ist die Dynamik 
durchweg begrenzt durch die Sattigung der fur die 
Signalwandlung und Signaltibertragung verwendeten 
Komponenten . 



Ein weithin bekanntes Problem von Bildsensoren ist nun, 
dafl ihre Dynamik nicht ausreicht, urn die in vielen 
Anwendungsgebieten auftretenden Helligkeitskontraste voll 
auf das Ausgangssignal abzubilden. Dadurch werden 
entweder dunkle Bildteile vom Rauschen verschluckt 
und/oder hellere Bildteile sind in der Sattigung, was 
zusatzlich zu weiteren Storungen wie Smear oder Blooming 
fuhren kann. Zur Behebung des Problems der begrenzten 
Dynamik sind einige Verfahren bekannt . 

Das US-Patent Nr. 5168532 sei stellvertretend fur erne 
grofie Zahl von Patenten und Verof f entl ichungen genannz, 
die die effektive Dynamik eines Bildsensorsystems nach' 
dem Prinzip der „Zweif achauslese" erhdhen. Hierzu wird 
das Bildsensorsystem mit einer Moglichkeit versehen, die 
oben benannte Empf indlichkeit variieren zu konnen; z.B. 
durch wahl der Integrationszeitdauer eines integrierenden 
Bildsensors oder noch einfacher mit Hilfe einer 
Irisblende. Sodann werden zwei Bilder aus dem Bildsensor 
ausgelesen, eines bei einer niedrigen Empf indlichkei t , 
ernes bei einer hohen Empf indlichkeit . Diese zwei Bilder 
werden anschliefiend nach einem geeigneten Verfahren zu 
emem Gesamtbild zusammengef ugt . Das Verfahren der 



WO 98/14002 




PCT/EP97/05306 



- 3 - 



.Mehrfachauslese^, das ebenfalls in den verschiedensten 
Varianten patentiert und verof f ent licht wurde (z.B. US- 
Patent Nr. 5638118), erganzt das Verfahren der 
w Zweifachauslese w nur insofern, als statt zweier eine 
hdhere Anzahl von Bildern mit unterschiedlichen 
Empf indlichkeiten auf genommen, gespeichert und 
zusammengefugt werden. Beiden Verfahren ist der 
erhebliche Nachteil eines komplizierteren Sensor-Systems 
gemeinsam, das neben dem Bildsensor noch Mittel zur 
Speicherung und zur Verarbeitung der Bilddaten enthalt, 
wie z.B. einen Framegrabber . 

Einer zweiten Gruppe von Verfahren zur Erhohung der 
Sensordynamik ist die Kompression des Bildsignals bei der 
Signalerzeugung im Pixel gemeinsam. Bei dem gangigen 
Kompressionsverf ahren der logarithmischen Kompression 
wird der lichtabhangige Photostrom in eine logarithmisch 
davon abhangige Signalspannung umgewandelt durch 
Ausnutzung der logarithmischen Spannungs-Stromkennlinie 
von Dioden oder MOS-Transistoren im Betrieb unterhalb der 
Schwellspannung, wie beispielsweise verof fentlicht von N. 
Ricquier und B. Dierickx in „Active Pixel CMOS image 
sensor with on-chip non-uniformity correction", IEEE 
Workshop on CCDs and Advanced Image Sensors, California/ 
20-22. April, 1995. Diese und alle anderen 
Kompressionssensoren verlieren durch die 
Dynamikkompression Bilddetails. Desweiteren werden 
ortsfeste Storungen (sog. „Fixed Pattern Noise" oder 
FPN), die durch lokale Schwankungen der 

Bauelementeparameter wie Transistor schwellspannungen oder 
Kapazitaten in den Pixeln und den Signalpfaden entstehen, 
exponentiell verstarkt, was wiederum durch aufwendige 
Maflnahmen korrigiert werden iaufi . Andere Verfahren 
(beispielsweise US-Patent Nr. 5572074 oder „Analog VLSI 
phototransduction by continuous-time, adaptive, 
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logarithmic photoreceptor circuits" von T. Delbruck und 
C.A. Mead in Computation and Neural Systems Program, 
Technical Report, CNS memorandum No. 30, 1994, S. 1-23, 
California Inst, of Technology, Pasadena, CA 91125) 
steuern mit Hilfe einer aufwendigeren Pixelschal tung die 
Pixelempf indlichkeit lokal durch das vom Pixel selbst 
produzierte Ausgangssignal ; effektiv entspricht das 
Verfahren jedoch wieder den Kompressionsverf ahren mit den 
gleichen nachteiligen Folgen. 

Bessere Verfahren zum Betrieb von Bildsensoren mit hoher 
Dynamik stellen die lokaladaptiven Verfahren dar. Ein 
lokaladaptives Verfahren ist dadurch gekennzeichnet , daft 
die Empf indlichkeit des Bildsensors nicht fur alle Pixel 
gleichzeitig (global) sondern fur kleinere Unt ergruppen 
von Pixeln, bevorzugt fur jedes Pixel einzeln einstellbar 
ist (lokal) . Der Natur der Bildsensoren gemafl kann dazu 
an unterschiedlichen Punkten des Signalweges angesetzt 
werden . 

Verfahren, die das auf die Pixel fallende Licht 
pixelweise schwachen, smd in den US-Patenten Nr. 5532743 
(Abschwachung durch LCD-Pixel), Nr. 55410705 
(Abschwachung durch Polarisatoren) und Nr. 5218485 
beispielhaft beschrieben. Sie setzen alle einen 
diffizileren optischen Aufbau und eine aufwendige, 
externe Ansteuerung der Abschwachungselemente voraus. 

Einfachere Systeme mit hoherer Dynamik erreicht man mit 
solchen lokaladaptiven Verfahren, die die 
Integrationszeit pixelweise steuern. Ein gangiges 
Verfahren mit lokaladapt iver Integrationszeit bedient 
sich dem individuellen Pixelreset, IPR; so z.B. von O. 
Yadid-Pecht, B. Pain, C. Staller, C. Clark und E. Fossum 
berichtet in x CMOS Active Pixel Sensor Star Tracker with 
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Regional Electronic Shutter' , IEEE Journal of Solid-State 
Circuits, Vol. 32, No. 2, Feb. 1997 und in 'Wide dynamic 
range APS star tracker', Solid State Sensor Arrays and 
CCD cameras, San Jose , Calif ornia, Proceedings of the 
SPIE, Vol. 2654, S. 82-92, 1996 sowie von Chen S., 
Ginosar R. in 'Adaptive Sensitivity CCD Image Sensor' , 
Proceedings of the SPIE, Vol. 2415, S. 303-309, 1995. Bei 
den beschriebenen Sensoren wurdert die Pixelschaltungen 
derart modifiziert, dali ihre Integrationskapazitat zu 
jedem Zeitpunkt in jedem Pixel einzeln zuriickgesetzt 
werden kann. Dadurch kann in gewissen Grenzen fur jedes 
Pixel eine eigene Integrat ionszei tdauer erreicht werden 
und mithin die Pixelempf indlichkeit an die am jeweiiigen 
Pixelort auftreffende Lichtintensi tat adaptiert werden. 
Die beschriebenen Verfahren zeichnen sich durch einen 
geringen Zusatzauf wand in der Pixelschaltung bei 
gleichzeitig grofter Dynamik aus . 

Bei dem am Insitut fur Halbleiterelekt ronik der 
Universitat-GH Siegen entwickelten lokaladaptiven 
Bildsensor (LAS) lafit sich die Integrationszeit jedes 
Pixels einzeln schon vor der eigentlichen 
Integrationsphase in Form einer Analogspannung in die 
Pixel programmieren. (siehe T. Lule, H. Fischer, S. 
Benthien, H. Keller, M. Sommer, J. Schulte, P. Rieve, M. 
Bohm, „Image Sensor with Per-Pixel Programmable 
Sensitivity in TFA Technolgy", H. Reichl, A. Heuberger, 
Micro System Technologies '96, VDE-Verlag, Berlin, 
Offenbach, S. 675 ff., 1996) 

Nachteilig an den Verfahren des I PR und des LAS ist 
jedoch der erhebliche Aufwand an Zusatzschaltungen, der 
notig ist, urn aus dem zuletzt ausgelesenen Bild 
pixelweise die fur den nachsten Integrationszyklus 
benbtigten Belichtungszeiten und daraus resultierenden 
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Ansteuertakte zu generieren. Der zusatzliche Nachteil der 
IPR-Verf ahren liegt in dem Problem, alle Pixel wahrend 
der Integrationsphase in der gewlinschten Reihenfolge 
zurucksetzen zu miissen, was zu Kollisionen und 
nichtdeterministischen Taktuberkopplungen auf die 
empf indliche Pixelelektronik ftihren kann. Daruberhinaus 
haftet alien bis hierhin beschriebenen adaptiven 
Verfahren der Nachteil des Zeitverzugs an; die fur eine 
Integrationsphase einzustellende Empf indlichkeit wird aus 
den Pixelsignalen der vorherigen Integrationsphase 
gewonnen, wodurch eine situationsgemafte Emstellung der 
Pixelempf indlichkeit nicht sicher gewahrleiste t ist. 

Der im Pat entanspruch 1 angegebenen Erfindung liegt das 
Problem zugrunde, die Empf indlichkeiten der Pixel eines 
Bildsensors ohne Zeitverzug und mit geringem 
Schaltungsaufwand an die am Pixelort herrschende 
Helligkeit anzupassen und mithin die effektive Dynamik 
des Bildsensors zu erhohen. 

Die Aufgabe wird durch die Adaption an die am Pixelort 
herrschende Helligkeir durch die Pixelschal tung selbsr 
gelost, die Pixel sind lokalautoadapt i v . 

Das Prinzip der Lokalautoadaptivitat wurde bekannt 
gemacht durch O. Yadid-Pecht in „The Automatic Wide- 
Dynamic-Range Sensor", SID 93, Intl. Symp., Digest, S. 
495-498, 1993. Dort wurde die Lokalautoadaptivitat 
erreicht durch die Fahigkeit des Pixels sich selbst 
zurucksetzen zu kdnnen, wenn das auf integr ierte Signal 
einen Schwellwert uberschrei tet . Prinzipiell wird dadurch 
zwar eine Sattigung der Pixel verhindert, die 
Integrationszeit wird dennoch nicht sicher an die auf das 
Pixel fallende Lichtintensi tat angepaftt, da es z.B. 
passieren kann, daft ein schwach beleuchtetes Pixel sich 
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kurz vor Ende der Integrat ionsphase noch einmal 
zuriicksetzt und in der verbleibenden, sehr kurzen 
Inregrationszeit keine nennenswerte Signalspannung mehr 
auf integrieren kann. 

Zudem muB die Integrat ionsdauer , die vom Pixel gewahlt 
wurde, auf geeignete Weise den nachf olgenden 
bxldauswertenden Stufen mitgeteilt werden, damit die 
Helligkeit am Pixelort aus den zwei Groften 
Integrationsdauer und auf integriertes Pixelsignal 
rekonstruiert werden kann. 0. Yadid-Pecht laftt dieses 
Problem weitgehend unbeantworcet und erwahnt nur in 
.Widening the dynamic range of pictures", High Resolution 
Sensors and Hybrid Systems, San Jose, CA, Proceedings of 
the SPIE, Band 1656, S. 374-382, 1992, daft die 
Integrationszeit lokal in 4 Flipflops gespeichert werden 
sollte, was zu einem erheblichen Aufwand an 
Pixelschaltung und zusatzlichen Ans teuerlei tungen fuhrt. 
Urn die effektive Grofte der Pixelflache nicht vollig 
unwirtschaftlich werden zu lassen, schlagt die Autorin 
weiter vor, die lokalautoadaptive Steuerung nur einmal 
pro Pixelblock von beispielsweise 8x8 Pixeln zu 
realisieren, was den Vorteil der Lokalautoadaptivitat 
sofort zunichte macht, da ein starker Hell-Dunkelubergang 
innerhalb dieses Pixelblocks zu den gleichen 
Dynamikbeschrankungen fuhrt wie sie bei den 
globaladaptiven Sensoren auftreten. 

Die erf indungsgemafte Losung des Problems besteht in einem 
integrierenden, lokalautoadapt iven Pixel, das seine 
Integrationszeit automatisch, autark beendet noch bevor 
soviele photogenerierte Ladungen auf integriert wurden, 
dafi das Ausgangssignal sattigt. Dieses Verfahren 
unterscheidet sich dadurch von dem vorgenannten, daft das 
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Pixel den Endzeitpunkt der Integrationsperiode selbst 
bestimmt und nicht den Anf angszei tpunkt . 

Ein vorteilhaf tes Verfahren zur Beendigung der 
Integrationszeit stellt ein elektronischer Schalter dar, 
der in den Pfad des Photostromes vora Detektor zur 
Integrationskapazitat eingeschleif t wird und der zur 
Beendigung der Integrationszeit den Strompfad vom 
Detektor zur Kapazitat unterbricht. Ein dem vorgenannten 
Verfahren gleichwertiges stellt ein elektronischer 
Schalter dar, der zwischen emer ersten 
Integrationskapazitat, auf die der lichtproportionale 
Phorostrom wahrend der gesamten Integrationsphase flieflt, 
una einer zweiten Haltekapazitat eine leitende Verbindung 
herstellt zu dem Zeitpunkt, da die Integrationszeit des 
betroffenen Pixels beendet werden soil, so dali die 
Spannung auf der Haltekapazitat nach Ende der 
Integrationsphase proportional zur Spannung auf dem 
Incegrationskondensator zum ebengenannten Zeitpunkt ist. 
Pixelschaltungen mit solchen elektrischen Schaltern sind 
hinlanglich bekannt und werden bei fast alien 
inregrierenden Bildsensoren zur globalen Steuerung aer 
Integrationszeit eingesetzt. 

Der besondere Vorteil der vorstehend genannten Losung 
besteht darin, daft ein so betriebener Sensor bei germgem 
Aufwand eine gegenuber einem herkommlichen Sensor 
wesentlich hdhere Dynamik aufweist, so daft dieser Sensor 
bei wesentlich hoheren Kontrasten der Bildszene noch in 
alien Bildausschnitten auswertbare Ausgangssignale 
iiefert. Weiterhin liegt das Ausgangssignal fur einen 
erheblich erweiterten Bereich von Bildhelligkeiten immer 
iir. oberen Bereich der Aussteuerung, was automatisch einen 
verbesserten Signal-zu-Rausch-Abstand und damit eine 
verbesserte Bildqualitat mit sich bringt . 
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Eine vorteilhafte Weiterbildung des Verfahrens besteht 
darin, eine Information (im folgenden Integrat ionssignal ) 
im Pixel zu speichern, die Auskunft daruber abgibt, wie 
lange die Integrationsdauer des Pixels betrug, und die 
zusammen mit dem auf integrierten Pixelsignal aus dem 
Bildsensor ausgelesen wird, so dali die am jeweiligen 
Pixelort herrschende Helligkeit aus dem 
Integrationssignal und dem Pixelsignal eindeutig 
ermittelt werden kann. Vorteilhaft ist dabei, das 
Integrationssignal analog im Pixel zu speichern, das 
heilit beispielsweise in Form einer Spannung, eines 
Stromes oder einer Ladung . Solche analoge 
Informationsspeicher wie eine Kapazitat oder ein 
Stromspiegelspeicher sind hinlanglich bekannt und lassen 
sich in gangigen Bildsensor-Technologien wie z.B. CMOS, 
BiCMOS oder TFT auf kleinerer Flache realisieren als ein 
Digitalwertspeicher mit gleichem Inf ormationsgehalt, wie 
er beispielsweise von 0. Yadid-Pecht vorgeschlagen wurde . 
Aber auch eine Speicherung des Integrationssignals als 
Digitalsignal kann eine vorteilhafte Moglichkeit 
darstellen, da sie eine wesentlich hohere Storsicherhei t 
bietet . 

Weiterhin bestehen die Moglichkeiten, dieses 
Integrationssignal innerhalb des Pixels autark zu 
generieren, von aulien in das Pixel hineinzutragen oder 
mit Hilfe von aulien in das Pixel hineingetragenen 
Signalen zu generieren. Vorzugsweise wird das Signal 
vollstandig von aulien in das Pixel hineingetragen, da 
hierdurch weitere Komponenten fur die Signalgenerierung 
im Pixel eingespart werden und das Pixel das von aulien 
angelegte Signal nur noch speichern mufi . Geeigneterweise 
legt man das von aulien heranzutragende Signal an alle 
Pixel oder zumindest an groliere Gruppen wie 
beispielsweise ganze Spalten oder Zeilen von Pixeln 
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gleichzeitig an, so dafi nur eine geringere Anzahl von 
Generatoren fur dieses Signal bereitgestell t werden mufi, 
als der Sensor Pixel hat. Diese Generatoren liefern dann 
ein Signal wie eine Spannung oder einen Strom oder ein 
digitales Wort, das sich zweckmafiigerweise monoton zur 
schon verstrichenen Integrationszeit verhalt, wie zum 
Beispiel eine Spannungsrampe. Sobald ein Pixel seine 
Integrationszeit beendet, speichert es zu diesem 
Zeitpunkt nicht nur das bis dahin auf integr ierte 
Pixelsignal im Belichtungskondensator , sondern auch das 
von seinem zugehorigen Generator von auflen angelegte 
Integrat ionssignal in seinem internen 
Integrationssignalspeicher . 

Der besondere Vorteil der vorstehend genannten Losung 
besteht darin, dafi die Helligkei tsinformation auf zwei 
Signalgroften aufgeteilt wird, zum einen in das 
Pixelsignal und zum anderen in das Integrat ionssignal , 
das Auskunft iiber die Integrationszei tdauer abgibt . Auf 
diese zwei Signale aufgeteilt, kann eine wesentlich 
hohere Helligkeitsdynamik weitergegeben werden, als es 
mit einem Signal moglich ware, da das Integranonssignai 
sozusagen eine Grobskalierung vorgibt, wahrend das 
Pixelsignal die Feininf ormation liefert. Insbesondere in 
gewerblichem Umfeld, wo eine Vielzahl an elekrrischen 
Stbrquellen die Signaldynamik auf den Obertragungswegen 
beschrankt, stelit diese Aufteilung der Dynamik die 
einzige Moglichkeit dar, Bilder mit sehr hoher 
Signaldynamik (>100dB) zu verarbei ten . 

Eine vorteilhafte Wei terbildung des Verfahrens besteht 
darin, daG die Beendigung der Integration nur zu wenigen, 
von aufterhalb des Pixels vorgegebenen Zeitpunkten 
erfolgen kann, die durch ein von aufien an das Pixel 
angelegtes Taktsignal definiert werden. Der Vorteil 
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dieser Zeitdiskret isierung liegt in der praziseren 
Kontrolle uber die von den Pixeln wahlbaren 
Integrationsperioden. Insbesondere die sich bei hohen 
Beleuchtungsstarken einstellenden, sehr kurzen 
Integrationszeitdauern mussen mit einer so hohen 
Prazision eingestellt und vom Integrationssignal erfafit 
werden konnen, daft die Ungenauigkeiten noch viel 
kleineren Zeiten entsprechen, als die 

Integrationszeitdauer ohnehin schon ist, was durch eine 
getaktete Diskretisierung der Integrationszeitdauern 
besonders vorteilhaft erreicht wird. 

Eine vorteilhafte Weiterbildung des Verfahrens, 
insbesondere im Zusammenhang mit der Zeitdiskretisierung 
der Integrationsperioden und der Verwendung eines 
analogen Integrationssignals, stellt die Verwendung eines 
amplitudendiskretisierten, analogen Integrationssignals 
dar derart, daft das Integrationssignal nur diskrete 
Amplituden annehmen kann. Die Amplitudendiskretisierung 
des Integrationssignals hat den Vorteil, daft 
nachfolgende, bildverwertende Stufen uber eine 
Schwellwertbildung die gewahlte Integrat ionsperiode 
prazise rekonstruieren konnen und dali die in 
Analogschaltungen unvermeidlichen Storeinf lusse wie 
Rauschen und FPN bei ausreichendem Abstand der 
Diskretisierungsstufen keinen Einfluft auf die 
Schwellwertbildung und damit auf die rekonstruierte 
Integrationszeitdauer hat. 

Im Falle der digitalen Speicherung des 

Integrationssignals liegt von der Natur der Sache schon 
eine Wertdiskretisierung vor, die in der besagten 
Amplitdendiskretisierung des Analogsignals eine 
Entsprechung findet. Weiterhin ist die digitale 
Speicherung am vorteilhaf tes ten zusammen mit der besagten 
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Zeitdiskretisierung einzusetzen, da so jeder 
Integrationszeit eineindeutig ein digitaler Wert 
zugewiesen werden kann. Von dem Standpunkt aus 
betrachtet, wie er in modernsten Speichertechnoiogien 
vertreten wird, daft ein grob amplitudendiskretisiertes 
Analogsignal ein Mul tilevel-Digitalsignal darstellt, ist 
der Obergang von einem reinen, binaren Digitalsignal zum 
amplitudendiskretiiserten Analogsignal flieliend und 
variantenreich . 

Eine vorteilhafte Wei terbildung des Verfahrens stellt die 
Verwendung einer exponent iellen Verteilung der 
diskretisierten Integrat ionsper ioden dar . Mit 
exponentieller Verteilung ist eine derartige Auswahl an 
vorgegebenen, vom Pixel wahlbaren Integrationsperioden 
gemeint, dafi jeweils eine Integrationsper iode urn einen 
festen Faktor langer ist ais die nachst kUrzeren wahlbare. 
Diese Verteilung ist eine von anderen Anwendungsgebieten 
wie zum Beispiel den Verschlufl zei ten eines Fotoappara tes 
her bekannte Verteilung, die fur eine gleichmaliige 
Abdeckung der vielen Zehnerpotenzen moglicher 
Lichuintensitaten sorgt . 

Eine vorteilhafte Weiterbildung des Verfahrens stellt die 
technologische Realisierung des lokalautoadaptiven 
Bildsensors in der am Institut fur Halbleiterelektronik 
der Universitat-GH Siegen von Prof. Bohm und seinen 
Mitarbeitern entwickelten TFA-Technologie dar, wie sie 
z.B. von Prof. M. Bohm in ^Intelligent Image Sensor 
Systems in TFA (Thin Film on ASIC) Technology", einem 
Vortrag anlafilich des Special Course on Intelligent 
Sensors, University of Roorkee, Roorkee U.P., Indien, 
1995, beschrieben ist. Der dort aufgewiesene Vorteil der 
vertikalen Integration des elektroopt ischen Detektors auf 
dem signalverarbei tenden ASIC macht sich insbesondere bei 
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den lokalautoadaptiven Sensoren bezahlt, da sich nicht 
Pixelelektronik und Detektor gegenseitig den Platz 
wegnehmen wie beispielsweise bei der reinen CMOS- 
Technologie, sondern die von der etwas umfangreicheren 
Pixelelektronik eingenommene Chipflache gleichzeitig dem 
daruberliegenden Detektor zur Verfiigung steht, der 
dadurch empf indlicher wird. 

Weitere vorteilhafte Wei terbildungen des Verfahrens gehen 
aus weiteren Unteranspriichen hervor. 

Ein Ausfuhrungsbeispiel der Erfindung, die bevorzugte 
Vorrichtung zur Durchfiihrung von vorstehend beschriebenen 
Verfahren, wird in den folgenden Figuren dargestellt und 
im weiteren naher bechrieben. Das Ausfuhrungsbeispiel 
stellt einen erfindungsgeraafien, in TFA-Technologie 
realisierten Bildsensor mit 90dB Dynamik dar . 

Fig. 1 zeigt das Blockschaltbild der lokalautoadaptiven 
Pixelelektronik mit autoraatischer Integrat ionsabschalcung 
und Integrationssignalspeicherung . 

Fig. 2 zeigt die Ansteuersignale fur den Betrieb des 
Pixels nach Fig. 1 wahrend der Integrat ionsphase . 

Fig. 3 zeigt die von einem Pixel nach Abschluli der 
Integrationsphase in der Auslesephase ausgegebenen 
Integrations- und Pixelsignale aufgetragen uber der auf 
diesem Pixel auf tref f enden Lichtintensitat . 

Fig. 4 zeigt schematisch das Zusammenspiel der Pixel 
eines Flachensensors mit den peripheren Schaltungen auf 
dem Bildsensorchip . 
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Das Pixellayout in Fig. 5 ist zur Verdeutlichung der 
moderaten Komplexitat eines lokalautoadaptiven Pixels 
angef ugt . 

Fig. 1 zeigt das Blockschal tbild des in TFA-Technologie 
realisierten lokalautoadaptiven Pixels. Auf der 
Pixelschaltung befindet sich der lichtempf indliche 
Detektor 01 aus amorphem Silizium, dessen Kathode mit der 
in der Pixelschaltung realisierten Detektorschaltung 02 
verbunden ist. Die Detektorschaltung ist ein Spezifikum 
der TFA-Technologie und nicht von Bedeutung fur die 
Lokalautoadaptivitat des Pixels. Sie halt die Spannung an 
der Kathode des Detektors 01 auf konstantem Wert, was die 
TFA-spezif ischen Kopplungen zwischen benachbarten 
Detektoren unterdruckt . 

Der vom Detektor 01 herruhrende und von der 
Detektorschaltung 02 weitergereichte Photostrom 03 wird 
wahrend der Integrationsphase uber den geschlossenen 
Photostromschalter 04 auf der Integrat ionskapazi tat 05 
auf integriert . Die result ierende Pixelspannung 06 am 
Integrationskondensator 05 wird vom getakteten 
Pixelkomparator 07 mit einer dem Pixel von aufcen 
zugefuhrten Vergleichsspannung 08 verglichen. Das 
Vergleichsergebnis erscheint erst nach einem Taktsignal 
von Takt 09 am Steuerausgang 10 des Pixelkomparators 07. 
Hat die Pixelspannung 06 zum Zeitpunkt des Taktsignals 
die Vergleichsspannung 08 uberschr it ten, so schaltet der 
Steuerausgang 10 den Photostromschalter 04 aus und 
beendet damit die Integrationsperiode fur die aktuelle 
Integrationsphase. Gieichzeitig mit jedem Taktsignal an 
Takt 09 liegt am Integrationssignaleingang Rampe 11 eine 
steigende, stufige Spannungsrampe an, die uber den 
geschlossenen Integrat ionssignalschal ter 12 auf den 
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integrationssignalkondensator 13 gegeben wird. In dem 
Moment, da der Steuerausgang 10 die Photos tromintegrati on 
uber Schalter 04 beendet, offnet derselbe Steuerausgang 
10 auch den Integrationssignalschal ter 12, so daft die 
Integrationssignalspannung 14 auf dem 

Integrationssignalkondensator 13 auf dem Spannungswert 
stehen bleibt, der zum Zeitpunkt der Abschaltung am 
Integrationssignaleingang Rampe 11 anlag. 

In der nachf olgenden Auslesephase veranlaftt ein 
Lesesignal am Eingang Read 15 den Pixelsignalpuf f er 16 
und den Integrat ionssignalpuf f er 17, das auf integrierte 
Pixelsignal 06 und das f estgehal tene Integrat ionssignal 
14 auf die Pixelsignal-Spaltenleitung 18 bzw. die 
Integrationssignal-Spaltenleitung 19 auszugeben. 

Vor der nachsten Integrationsphase schlieftt ein 
Resetsignal am Eingang Reset 20 den Resetschal ter 21 und 
loscht damit das auf integrierte Pixelsignal 06. Mit dem 
nachsten Taktsignal am Eingang Takt 09 schlieften der 
Photostromschalter 04 und der Integrationssignalschalter 
12 wieder, und die nachste Integrationsphase beginnt. 

Fig. 2 zeigt uber der Zeit aufgetragen die Steuertakte 
Takt 09 und Rampe 11 sowie das Integrat ionssignal 14 und 
das Pixelsignal 06 jeweils fur zwei Pixel - ein Pixel bei 
hoher Beleuchtung (Pixl 30 bzw. Intl 31 ) und ein Pixel 
bei niedrigerer Beleuchtung (Pix2 34 und Int2 35 ) . Das 
Signaldiagramm zeigt ein Ausf uhrungsbeispiel mit sechs 
wahlbaren, exponentiell verteilten Integrationszei ten 39 
bis 44, wobei die Zeitachse in relativen Einheiten 
angegeben ist. 
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Mit der ersten steigenden Flanke 38 von Takt 09 startet 
die Integrationsphase, ab hier laufen die auf integrierten 
Pixelspannungen Pixl 30 und Pix2 34 hoch . Mit jeder 
weiteren steigenden Flanke von Takt 09 kann ein Pixel bei 
ausreichend hoher Pixelspannung seine Integrationsperiode 
beenden. Wurde beispielsweise ein Pixel bei der 
Taktflanke 39 seine Integration beenden, dann dauerte 
seine Integrationsperiode 1 Zeiteinheit, bei Taktflanke 
40 dauerte sie 2 Zeiteinheiten, bei Taktflanke 41 dauerte 
sie 4 Zeiteinheiten, bei Taktflanke 42 8 Zeiteinheiten, 
bei Taktflanke 43 16 Zeiteinheiten; wurde ein Pixel bei 
Taktflanke 44 seine Integrationsperiode beenden, dann 
dauerte seine Integrationsperiode 32 Zeiteinheiten. Die 
wahlbaren Zeiteinheiten sind also in diesem 
Ausfiihrungsbeispiel exponentiell zur Basis 2 gewahlt 
worden . 



Die Vergleichsspannungen Ucomp 08 wurden fur diese 
Verteilung der Zeiteinheiten auf halben Pixelsignalhub 33 
bzw. 37 gesetzt. Hat em Pixelsignal 06 innerhalb einer 
Integrationsperiode den halben Signalhub noch nicht 
liberschritten, so wird es in der nachst langeren, doppelt 
so langen Integrationsperiode nicht den vollen Signalhub 
uberschreiten, so dafi es noch weiter auf integrier t werden 
kann, vorausgesetzt, daft sich die Helligkeit am Pixelort 
wahrend der folgenden, zusatzlichen Integrationszeit 
nicht wesentlich andert. Hat ein Pixelssignal 06 
innerhalb einer Integrationsperiode jedoch den halben 
Signalhub schon liberschritten, so wurde es in der nachst 
langeren, doppelt so langen Integrationsperiode den 
vollen Signalhub uberschreiten, so dafi die Integration 
beendet werden raufi . Durch diese Kombination von wahlbaren 
Integrationszeiten und Vergleichsspannung wird also 
sichergestellt, dafi die auf integrierte Pixelspannung sich 
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immer in der oberen Halfte des vollen Signalhubs 
befindet. Eine Verbesserung in der Hinsicht einer 
Robustheit gegenuber Helligkeitsschwankungen im Laufe 
einer Integrationsphase stellt die Wahl einer niedrigeren 
Vergleichsspannung dar; sie erlaubt der Pixelhelligkeit 
wahrend der Integrationsphase in beschranktem Umfang 
anzusteigen, ohne dafi das Pixel dadurch sattigt. 

Das in Fig. 3 liber der reiativen Beleuchtungsintensitat 
45 auf integrierte Pixelsignal 46 und Integrationssignal 
47 verdeutlichen diese sehr vorteilhafte Eigenschaft des 
iokalautoadaptiven Pixels. Aufgrund der logar i thmischen 
Auftragung der Intensitat auf der horizontalen Achse 
erscheint die Pixelsignalkurve gekrummt, wahrend die in 
exponentiellen Abstanden verteilten Rampenstuf en 11 hier 
jeweils gleiche Breiten aufweisen. 

Das in Fig. 4 gezeigte Blockdiagramm zeigt schematisch 
das Zusammenspiel der Pixelschaltungen 50 mit den 
Peripheriekomponenten 53, 55 und 58 in einem 
Flachensensor. Wahrend der Integrationsphase versorgi die 
Integrationssteuerung 55 die in Spalten und Zeilen 
angeordneten Pixel 50 der Pixelmatrix 51 mit den 
notwendigen Ansteuersignalen wie Reset 20, Takt 09, Rampe 
11 und Ucomp 08, die die Integrationssteuerung 55 aus 
einem Eingangstakt Clk 66 erzeugt. Die Signale werden fur 
alle Pixel 50 gemeinsam erzeugt, so dali alle Pixel 50 der 
Pixelmatrix 51 synchron ihre Integrationsperioden 
beginnen, wahrend sie wie oben beschrieben den 
Endzeitpunkt selbst wahlen. 

Das Ende der Integrationsphase wird den auBerhalb des 
Chips liegenden Schal tungs teilen durch ein Signal am 
Ausgang Ready 67 angezeigt. Jetzt konnen diese eine 
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Zeilenadressen ZA 64 und das Zeilenf reigabesignal ZEN 65 
an den Zeilendekoder 53 legen, der dann die gewiinschte 
Zeilenleselei tung 52 aufsteuert. Die Zeilenleselei tung 52 
ist mit den Pixelleselei tungen Read 20 aller Pixel 50 in 
der Zeile verbunden und sorgt dafiir, daft alle Pixel 50 
der ausgewahlten Zeile ihre auf integrierten Pixelsignale 
06 und f estgehal tenen Integrationssignale 14 auf die 
Pixelsignal-Spaltenleitungen 18 bzw. die 
Integr at ions s ignai-Spaltenlei tungen 19 ausgeben . 

Von all den parallel an der Spaltenansteuerung- und 
ausiese 58 anliegenden Pixelsignal- und 
Integrationssignal-Spaltenleitungen 56, 57 wahlt die 
Spaltenansteuerung- und ausiese 58 die Spalte aus, die 
durch die von auften vorgegebene Spal tenadresse SA 63 
ausgewahlt wird. Mit anliegendem Spal tenf reigabesignal 
SEN 62 werden das ausgewahlte Pixelsignal 06 und das 
ausgewahlte Integrationssignal 14 auf den Pixelausgang 
Pixaus 59 und den Integrationssignalausgang Intaus 60 
ausgegeben. Nach erfolgter Ausiese aller Pixel 50 wird 
dann durch ein Signal an Start 61 die nachste 
integrationsphase in der Integrationssteuerung 55 
angestoBen . 
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PATENTANSPRUCHE 



1. Verfahren zum Betrieb von integrierenden 
Bildsensoren, bestehend aus 

a) einer Anordnung von lichtwandelnden Pixeln, die 
jeweils bestehen aus 

aa) einem lichtempf indlichen Element (01) zur 
photoelektrischen Konvertierung der auf es fallenden 
Lichtintensitat in einen lichtintensitatsabhangigen 
Photostrom; 

ab) einer integrierenden Vorrichtung (04,05) urn 
innerhaib einer Integrationsphase den besagten 
Photostrom uber eine gewisse Integrationszeitdauer 
auf zuintegrieren; 

ac) einer zeitdauersteuernden Vorrichtung (07-10), 
zur Bestimmung des Anfangs- und Endzeitpunkts der 
Integrationszeitdauer; 

ad) einer Auslesevorrichtung (15) zur Weitergabe 
eines Pixelsignals wahrend einer Auslesephase, das 
der Menge des auf integrierten Photostroms 
entspricht; 

b) einer Vorrichtung zur Bearbeitung der vorbenannten, 
von den Pixeln weitergegebenen Signale und 
Bereitstellung eines daraus erzeugten 
Ausgangs signals; 
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c) einer pixels teuernden Vorrichtung, die alie oben 

genannten, in alien Pixeln vorhandenen Vorrichtungen 
derart mit Steuersignalen versorgt, daft das 
vorgenannte Ausgangssignal ein das auf den Bildsensor 
einstrahlende Lichtbild wiedergebendes Signal 
darstellt , 



dadurch gekennzeichnet, daft die 
zeitdauersteuernde Vorrxchtung der Pixel derart von der 
integrierenden Vorrichtung desselben Pixels beeinfluftt 
wird, daft die zeitdauersteuernde Vorrichtung den 
Endzeitpunkt der Integrationszei tdauer abhangig von der 
auf das Pixel fallenden Lichtintensitat so wahlt, daft 
hohere Licht intensi t a ten zu kurzeren 
Integrationszeitdauern ftihren, wahrend niedrigere 
Lichtintensitaten zu langeren Integrationszeitdauern 
ftihren. 



2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, daft die 
zeitdauersteuernde Vorrichtung mit Hilfe eines 
elektronischen Schalters Einfluft nimmt auf den 
Endzeitpunkt der Integrat ionszeitdauer , wobei der 
elektronische Schalter derart eingebaut ist, daft der 
elektronische Schalter den Zufluft des Photostromes in die 
integrierende Vorrichtung zur Beendigung der 
Integrationsszeit unterbricht. 

3. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, daft die 
zeitdauersteuernde Vorrichtung mit Hilfe eines 
elektronischen Schalters Einfluft nimmt auf den 
Endzeitpunkt der Integrationszei tdauer , wobei der 
elektronische Schalter derart eingebaut ist, daft der 
elektronische Schalter zwischen vorbenannter , 
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integrierender Vorrichtung und einer weiteren, 
speichernden Vorrichtung derart eingeschleif t ist, daft 
der elektronische Schalter zum besagten Endzeitpunkt den 
Signalweg zwischen der integrierenden Vorrichtung und der 
speichernden Vorrichtung derart unterbricht, daft nach dem 
Ende der Integrationsphase die speichernde Vorrichtung 
ein Signal gespeichert hat, das in Relation steht zu dem 
zum besagten Endzeitpunkt von der integrierenden 
Vorrichtung abgegebenen Signal. 

4. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft jedes 
Pixel nach Ablauf oben bezeichneter Integrationsphase 
eine Integrationsdauerinf ormation gespeichert hat, die 
Auskunft daruber gibt, wie lange die bezeichnete 
integrationszeitdauer des jeweiligen Pixels betrug,. und 
die zusammen mit dem oben genannten Pixelsignal 
ausgelesen wird. 

5. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, daft die 
dort benannte Integrationsdauerinf ormation reprasentiert 
wird durch ein digitales Signal. 

6. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, daft die 
dort benannte Integrationsdauerinf ormation reprasentiert 
wird durch ein analoges Signal. 

7. Verfahren nach Anspruch 6, 

dadurch gekennzeichnet, daft die 
dort benannte Integrationsdauerinf ormation durch ein 
amplitudendiskretisiertes, analoges Signal reprasentiert 

wird . 
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8. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, daft das 
dort benannte Signal im Pixel autark generiert wird. 

9. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, daft das 
dort benannte Signal mit Hilfe von Signalen, die von 
auften an das Pixel angelegt werden, im Pixel generiert 
wird. 



10. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, daft das 
dort benannte Signal dem Pixel zu jedem Endzei tpunkt 
passend von auften bereitgestellt wird und vom Pixel zum 
geeigneten Zeitpunkt festgehalten werden muft . 

11. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft die 
oben genannte zeitdauersteuernde Vorrichtung sich nur zu 
wenigen, diskreten Zeitpunkten innerhalb einer 
Integrationsphase fur die Beendigung der Auf integration 
des Pixelsignals entscheider. kann und daft vorbenannue, 
diskrete Zeitpunkte durch vcn aufterhalb an das Pixel 
angelegte Signale definiert werden. 

12. Verfahren nach Anspruch 11, 

dadurch gekennzeichnet, daft die 
genannten, von auften definierten Zeitpunkte exponenriell 
verteilt sind in dem Sinne, daft jeweils eine durch Wahl 
eines Endzeitpunkts wahlbare Integrationszeitdauer uir. 
einen festen Faktor langer 1st als die nachst kurzere 
wahlbare Integrationszeitdauer . 
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13. Verfahren nach Anspruch 11, 

dadurch gekennzeichnet, daft die 
genannten, von aufien definierten Zeitpunkte dual- 
exponentiell verteilt sind in dem Sinne, daft jeweils eine 
durch Wahl eines Endzeitpunkts wahlbare 

Integrationszeitdauer doppelt so lang ist wie die nachst 
ktirzere , wahlbare Integrationszeitdauer . 

14. Vorrichtung fur die Ansteuerung von Bildsensoren 
bestehend aus einer Vielzahl von Pixelsignal- 
Aufbereitungseinheiten, die jeweils 

eine Pixel-Empf angseinrichtung (01,02), mittels der auf 
ein lichtempf indliches Element (01) einfallendes Licht in 
einen 1 icht intensitatsabhangigen Photostrom wandelbar 
ist, 

eine Integrationseinrichtung (05) zum Auf integrieren des 
Photostromes wahrend einer vorgebbaren 
Integrationszeitdauer und 

erne Ausleseeinr ichung zum Auslesen des dem 

auf integrierten Photostrom entsprechenden Pixelsignals 

wahrend einer Auslesephase enthalten, 

wobei die von den Pixelsignal-Auf bereitungseinheiten 
ausgelesenen Pixelsignale von einer gemeinsaraen 
Verarbeitungseinrichtung verarbeitet und zu einem das auf 
den Bildsensor einstrahlende Lichtbild wiedergebenden 
Signal zusammengesetzt werden, 

dadurch gekennzeichnet, daft die 
Pixel-Empf angseinrichtungen Mittel zur Vorgabe des Endes 
der Integrationszeit aufweisen derart, daft die 
Integrationszeit unter Berlicksichtigung der einfallenden 
Lichtintensitat beendet wird, bevor die Integrations- 
einrichtung (05) in den Sattigungszustand geiangt. 
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